Ảnh hưởng của Phu nhân Castlemaine đối với Quốc vương ngày càng suy yếu trong suốt thời kỳ trở thành tình nhân. Ở thời kỳ đỉnh cao, ảnh hưởng của Barbara lớn đến mức mà Bà Bá tước được gọi là "Vương hậu không ngai"[25] và được biết đến là có ảnh hưởng với Charles II hơn Vương hậu thực sự là Catarina Henriqueta của Bồ Đào Nha.[26][27] Thậm chí sau này, Barbara không cần phải nhờ cậy đến kỹ năng về tình dục mà tận dụng chính cá tính vốn có của mình mà tạo sức ảnh hưởng lên Charles II. Theo Samuel Pepys nhìn nhận vào tháng 1 năm 1669, Barbara còn có thể ra lệnh cho nhà vua: "Phu nhân Castlemaine có quyền lực trên quốc vương hơn bao giờ hết — không phải như một tình nhân, vì bà ta khinh bỉ ngài, nhưng như một bạo chúa mà ra lệnh cho ngài ấy."[lower-alpha 3][28] Những biểu hiện đầu tiên là khi tân hậu Catarina dừng chân ở Portsmouth. Samuel Pepys ghi nhận rằng phong tục đốt lửa bên ngoài nhà của Phu nhân Castlemaine không được thực hiện khi Vương hậu đến.[29] Trên thực tế, Barbara đã lên kế hoạch sinh đứa con thứ hai của mình và Charles II tại Cung điện Hampton Court trong khi cặp đôi vương thất đang đi hưởng tuần trăng mật.[30][24][31]

Lady of the Bedchamber (Phu nhân Hầu phòng)

Sau khi đứa con trai lớn chào đời vào năm 1662, Barbara được bổ nhiệm làm Phu nhân Hầu phòng (Lady of the Bedchamber) bất chấp sự phản đối của Vương hậu Catarina.[26] Thế nhưng, khi lần đầu gặp Barbara, vì không biết tiếng Anh nên Vương hậu không nhận ra Barbara, do đó Phu nhân Castlemaine đã được Catarina đón tiếp một cách thân tình. Ngay khi nhận ra tình địch, đôi mắt của Catarina ngập tràn nước mắt của sự giận dữ, mũi của Vương hậu chảy máu và ngã khuỵu xuống sàn.[32] Trước sự việc này, Charles II đã yêu cầu Bá tước xứ Clarendon đến gặp vợ và giải thích với Catarina rằng nghĩa vụ của một người vợ là phải chấp thuận việc chồng có tình nhân để giữ gìn cuộc hôn nhân. Thế nhưng Catarina đe dọa sẽ trở lại Bồ Đào Nha. Mặt khác, Henrietta của Anh, Công tước phu nhân xứ Orléans đã bày tỏ rằng bản thân rất sốc khi được biết về cách anh trai đối xử với vợ:"‘Ta nghe nói rằng chị dâu rất đau buồn, và thẳng thắn mà nói điều đó hoàn toàn hiểu được."[lower-alpha 4][32]

Sau chiến thắng của Barbara khi được bổ nhiệm làm Phu nhân Hầu phòng, có những đồn đoán về s Charles II đối với bà Bá tước, nguyên nhân là vì nhà vua bắt đầu để ý đến quý cô nương Frances Stewart.[33] Tháng 12 năm 1663, Bá tước phu nhân xứ Castlemaine tuyên bố cải đạo từ Anh giáo sang Công giáo La Mã.[34] Tuy nhiên, Charles II không coi trọng chuyện cải đạo và nói rằng mình quan tâm đến cơ thể phụ nữ chứ không phải tâm hồn của họ. Triều đình Anh cũng có thái độ tương tự, tựu chung co rằng việc Barbara cải đạo chả mang lại lợi ích gì cho Giáo hội La Mã và Giáo hội Anh cũng chẳng mất mát gì.[24]

Ngày 3 tháng 8 năm 1670, Charles II phong tặng cho Barbara tước hiệu Công tước xứ Cleveland, Bá tước xứ Southampton và Nam tước Nonsuch. Đi kèm với tước hiệu Nam tước, Barbara còn được ban cho Cung điện Nonsuch.[34][35][36] Tuy nhiên, không ai tại triều đình chắc chắn liệu đây có phải là dấu hiệu cho thấy Barbara đang bị Charles II vứt bỏ hay là được Quốc vương sủng ái hơn. Tước hiệu của Barbara được cho phép truyền cho con trai cả là Charles FitzRoy và con trai thứ ba là George FitzRoy dù rằng Charles và George là con ngoại hôn. Mặt khác, tại thời điểm đó Charles II không thừa nhận người con tria thứ hai mà Barbara sinh ra là Henry là con trai của mình.[lower-alpha 5][34][35]

Charles II cũng có những người tình có địa vị thấp, đặc biệt là nữ diễn viên Nell Gwyn. Bản thân Barbara cũng không kém cạnh và có tiếng là người lăng nhăng. Người con gái út Barbara Fitzroy, sinh năm 1672, được cho là có thể là con gái của người anh em họ John Churchill.[34]